# -*- coding: UTF-8 -*-

from Tokenizador import *
import unittest

class tokenizadorTest(unittest.TestCase):
	
	def setUp(self):
		self.tokenizador = Tokenizador()

	def test_acentos(self):
		text = "áéíóúÁÉÍÓÚ"
		self.assertEquals(self.tokenizador.sacarAcentos(text), "aeiouAEIOU")
		
	def test_limpiar(self):
		text = "hola.chau,,,"
		self.assertEquals(self.tokenizador.limpiar(text), "hola chau   ")
		
	def test_tokenizar(self):
		text = 'hola.chaé ,,,'
		self.assertEquals(self.tokenizador.tokenizar(text), ['hola', 'chae'])
		
if __name__ == "__main__": 
	unittest.main()
